home *** CD-ROM | disk | FTP | other *** search
/ ftp.cs.arizona.edu / ftp.cs.arizona.edu.tar / ftp.cs.arizona.edu / icon / newsgrp / group01b.txt / 000146_icon-group-sender_Tue Sep 25 16:37:27 2001.msg < prev    next >
Internet Message Format  |  2002-01-03  |  3KB
  1. Return-Path: <icon-group-sender>
  2. Received: (from root@localhost)
  3.     by baskerville.CS.Arizona.EDU (8.11.1/8.11.1) id f8PNbOM19787
  4.     for icon-group-addresses; Tue, 25 Sep 2001 16:37:24 -0700 (MST)
  5. Message-Id: <200109252337.f8PNbOM19787@baskerville.CS.Arizona.EDU>
  6. Date: Tue, 25 Sep 2001 14:01:03 -0700
  7. From: Steve Wampler <swampler@noao.edu>
  8. X-Accept-Language: en
  9. To: Bruce Gordon Rennie <brennie@dcsi.net.au>
  10. CC: icon-group@cs.arizona.edu
  11. Subject: Re: Line limit for ICON on input
  12. Errors-To: icon-group-errors@cs.arizona.edu
  13. Status: RO
  14. Content-Length: 2061
  15.  
  16. Bruce Gordon Rennie wrote:
  17. > 
  18. > To all,
  19. > 
  20. > I am reading a text file that is very large (over 100 Mbytes) and am using the
  21. > following simple program to read and then write the file.
  22. > 
  23. > procedure main()
  24. >         local ifile, cnttab, line, keyword, linesp, keyw, outp
  25. >         write("Translation")
  26. >         (ifile := open("f:\\A\\ForthNG.txt","r")) & write("Have opened file")
  27. >         linesp := 0
  28. >         cnttab := table(0)
  29. >         outp := open("f:\\a\\forthSumNG.txt","w")
  30. >         while line := read(ifile) do {
  31. >                 line ? (if ( ="Date:"   ) then write(outp,line))
  32. >                 (((linesp +:= 1 ) % 1000) = 0) & write(".",linesp)
  33. >                 if (linesp > 204900) then write(line)
  34. > 
  35. >         }
  36. >         write(".",linesp)
  37. > end
  38. > 
  39. > However, it is stopping at line 204931. The purpose is to remove a set of line,
  40. > of which one is given as an example.  But it is not getting past the above line.
  41. > My estimate is that there is over a million lines in this file. Can anyone shed
  42. > any light on this.
  43. > 
  44. > I am using ICON for Windows Version 9.3.1 May 4 1998. Any help appreciated.
  45.  
  46. Are you sure this isn't a windows problem?  I just ran the following variant
  47. of your program on Linux on a 1GB input file (8,388,609 lines) with no problems:
  48.  
  49.     procedure main(args)
  50.         local ifile, cnttab, line, keyword, linesp, keyw, outp
  51.  
  52.         write("Translation")
  53.  
  54.         inFile := args[1]
  55.         outFile := args[2]
  56.  
  57.         (ifile := open(inFile,"r")) & write("Have opened file")
  58.  
  59.         linesp := 0
  60.         cnttab := table(0)
  61.         outp := open(outFile,"w")
  62.  
  63.         while line := read(ifile) do {
  64.             # line ? (if ( ="Date:"   ) then write(outp,line))
  65.             (((linesp +:= 1 ) % 1000) = 0) & write(".",linesp)
  66.             # (linesp > 204900) then write(line)
  67.             }
  68.         write(".",linesp)
  69.  
  70.     end
  71.  
  72. Hmmm, I wonder how many *bytes* you are into the file when it hangs?  I bet
  73. it's close to some magic power of two...
  74.  
  75. --
  76. Steve Wampler-  SOLIS Project, National Solar Observatory
  77. swampler@noao.edu
  78.